Learning good representation of giga-pixel level whole slide pathology images (WSI) for downstream tasks is critical. Previous studies employ multiple instance learning (MIL) to represent WSIs as bags of sampled patches because, for most occasions, only slide-level labels are available, and only a tiny region of the WSI is disease-positive area. However, WSI representation learning still remains an open problem due to: (1) patch sampling on a higher resolution may be incapable of depicting microenvironment information such as the relative position between the tumor cells and surrounding tissues, while patches at lower resolution lose the fine-grained detail; (2) extracting patches from giant WSI results in large bag size, which tremendously increases the computational cost. To solve the problems, this paper proposes a hierarchical-based multimodal transformer framework that learns a hierarchical mapping between pathology images and corresponding genes. Precisely, we randomly extract instant-level patch features from WSIs with different magnification. Then a co-attention mapping between imaging and genomics is learned to uncover the pairwise interaction and reduce the space complexity of imaging features. Such early fusion makes it computationally feasible to use MIL Transformer for the survival prediction task. Our architecture requires fewer GPU resources compared with benchmark methods while maintaining better WSI representation ability. We evaluate our approach on five cancer types from the Cancer Genome Atlas database and achieved an average c-index of $0.673$, outperforming the state-of-the-art multimodality methods.
translated by 谷歌翻译
反转合是药物发现的主要任务。通过许多现有方法,它被称为生成图的问题。具体而言,这些方法首先识别反应中心,并相应地打破靶分子以生成合成子。反应物是通过顺序添加到合成图或直接添加正确的离开组来生成反应物。但是,两种策略都遭受了添加原子以来会导致长期的预测顺序,从而增加了产生难度,同时添加离开组只能考虑训练集中的序列,从而导致概括不佳。在本文中,我们提出了一个新颖的端到端图生成模型,用于逆转录合成预测,该模型顺序识别反应中心,生成合成子,并将基序添加到合成子中以生成反应物。由于化学有意义的基序比原子大,比离开组还小,因此与添加原子相比,与添加离开组相比,我们的方法的预测复杂性较低。基准数据集上的实验表明,所提出的模型显着胜过先前的最新算法。
translated by 谷歌翻译
在计算病理学工作流程中检测和分裂ObjectSwithinWholesLideImagesis。自我监督学习(SSL)吸引了这种重度注释的任务。尽管自然图像的密集任务具有广泛的基准,但不幸的是,在当前的病理学作品中,此类研究仍然没有。我们的论文打算缩小这一差距。我们首先基于病理图像中密集预测任务的代表性SSL方法。然后,我们提出了概念对比学习(结论),这是密集预训练的SSL框架。我们探讨了结论如何使用不同来源提供的概念,并最终提出了一种简单的无依赖性概念生成方法,该方法不依赖于外部分割算法或显着检测模型。广泛的实验表明,在不同环境中,结论比以前的最新SSL方法具有优势。沿着我们的探索,我们弥补了几个重要而有趣的组成部分,这有助于致力于病理图像的密集预训练。我们希望这项工作可以提供有用的数据点,并鼓励社区为感兴趣的问题进行结论预培训。代码可用。
translated by 谷歌翻译
图对比度学习已被证明是图形神经网络(GNN)预训练的有效任务。但是,一个关键问题可能会严重阻碍现有作品中的代表权:当前方法创建的积极实例通常会错过图表的关键信息,甚至会错过非法实例(例如分子生成中的非化学意识图)。为了解决此问题,我们建议直接从训练集中的现有图中选择正图实例,该实例最终保持与目标图的合法性和相似性。我们的选择基于某些特定于域的成对相似性测量以及从层次图编码图中的相似性关系的采样。此外,我们开发了一种自适应节点级预训练方法,以动态掩盖节点在图中均匀分布。我们对来自各个域的$ 13 $图形分类和节点分类基准数据集进行了广泛的实验。结果表明,通过我们的策略预先培训的GNN模型可以胜过那些训练有素的从划痕模型以及通过现有方法获得的变体。
translated by 谷歌翻译
最近,深度神经网络具有极大的高级无效磁共振图像(MRI)重建,其中大多数研究都遵循单个解剖学中的一个网络时尚,即每个专家网络都经过训练和评估特定解剖结构。除了培训多个独立模型的效率低下之外,此类公约还忽略了各种解剖学的共享脱张知识,这些知识可以彼此受益。为了探索共享知识,一种天真的方法是将来自各种解剖学的所有数据结合起来,以训练全能网络。不幸的是,尽管存在共同的脱氧知识,但我们透露,不同解剖学的独家知识可能会恶化特定的重建目标,从而导致整体绩效降低。在这项研究中观察到这一点,我们提出了一个新型的深MRI重建框架,并具有解剖结构和解剖学特异性的参数化学习者,旨在“寻求共同点,同时解决不同的解剖学差异”。尤其是主要的解剖学共享的学习者是暴露于不同的解剖学上,以模拟蓬勃发展的共同知识,而有效的解剖学特异性学习者则接受了目标解剖结构的培训,以进行独家知识。在两个MRI重建网络中,在我们的框架顶部介绍并探索了四个不同的解剖学学习者实现。关于大脑,膝盖和心脏MRI数据集的全面实验表明,其中三个学习者能够通过多种解剖学协作学习来增强重建性能。
translated by 谷歌翻译
作为建模复杂关系的强大工具,HyperGraphs从图表学习社区中获得了流行。但是,深度刻画学习中的常用框架专注于具有边缘独立的顶点权重(EIVW)的超图,而无需考虑具有具有更多建模功率的边缘依赖性顶点权重(EDVWS)的超图。为了弥补这一点,我们提出了一般的超图光谱卷积(GHSC),这是一个通用学习框架,不仅可以处理EDVW和EIVW HyperGraphs,而且更重要的是,理论上可以明确地利用现有强大的图形卷积神经网络(GCNN)明确说明,从而很大程度上可以释放。超图神经网络的设计。在此框架中,给定的无向GCNN的图形拉普拉斯被统一的HyperGraph Laplacian替换,该统一的HyperGraph Laplacian通过将我们所定义的广义超透明牌与简单的无向图等同起来,从随机的步行角度将顶点权重信息替换。来自各个领域的广泛实验,包括社交网络分析,视觉目标分类和蛋白质学习,证明了拟议框架的最新性能。
translated by 谷歌翻译
点击率(CTR)预测旨在估算用户单击项目的可能性,是在线广告的重要组成部分。现有方法主要尝试从用户的历史行为中挖掘用户兴趣,这些行为包含用户直接交互的项目。尽管这些方法取得了长足的进步,但通常会受到推荐系统的直接曝光和不活动相互作用的限制,因此无法挖掘所有潜在的用户利益。为了解决这些问题,我们提出了基于邻居相互作用的CTR预测(NI-CTR),该预测在异质信息网络(HIN)设置下考虑此任务。简而言之,基于邻居相互作用的CTR预测涉及HIN目标用户项目对的本地邻域以预测其链接。为了指导当地社区的表示形式,我们从显式和隐性的角度考虑了本地邻里节点之间的不同类型的相互作用,并提出了一种新颖的图形掩盖变压器(GMT),以有效地将这些类型的交互结合到为目标用户项目对生成高度代表性的嵌入。此外,为了提高针对邻居采样的模型鲁棒性,我们在嵌入邻里的嵌入式上执行了一致性正规化损失。我们对数百万个实例进行了两个现实世界数据集进行了广泛的实验,实验结果表明,我们所提出的方法的表现明显优于最先进的CTR模型。同时,全面的消融研究验证了我们模型每个组成部分的有效性。此外,我们已经在具有数十亿用户的微信官方帐户平台上部署了此框架。在线A/B测试表明,针对所有在线基线的平均CTR改进为21.9。
translated by 谷歌翻译
丙酸的主要靶标是递归地将所需分子分解成可用的构件块。现有的基于模板的逆转性方法遵循模板选择刻板印象并遭受有限训练模板,这可以防止它们发现新的反应。为了克服限制,我们提出了一种创新的retrosynesp预测框架,可以撰写超出训练模板的新型模板。据我们所知,这是第一种可以找到用于逆转金属预测的新型模板的方法。此外,我们提出了一种有效的反应物候选候选模型,可以捕获原子级变换信息,并有助于我们的方法优于现有方法,通过大边距。实验结果表明,我们的方法可以在USPTO-50K数据集中生产328个测试反应的新型模板,包括训练模板未涵盖的21个测试反应。
translated by 谷歌翻译
最近,使用随机梯度Langevin Dynamics(SGLD)的非凸实验性风险最小化范例的泛化界限已经过度研究。已经提出了几种理论框架来研究来自不同观点的这个问题,例如信息理论和稳定性。在本文中,我们从隐私泄漏分析中提出了一个统一的视图,以调查SGLD的泛化范围,以及以简洁的方式重新获得以前结果的理论框架。除了理论上的发现之外,我们进行各种数值研究,以统一地评估SGLD的信息泄漏问题。此外,我们的理论和经验结果提供了研究SGLD成员隐私的事先作品的解释。
translated by 谷歌翻译
在计算机视觉中长期以来一直研究了时间行动定位。现有的最先进的动作定位方法将每个视频划分为多个动作单位(即,在一级方法中的两级方法和段中的提案),然后单独地对每个视频进行操作,而不明确利用他们在学习期间的关系。在本文中,我们声称,动作单位之间的关系在行动定位中发挥着重要作用,并且更强大的动作探测器不仅应捕获每个动作单元的本地内容,还应允许更广泛的视野与相关的上下文它。为此,我们提出了一般图表卷积模块(GCM),可以轻松插入现有的动作本地化方法,包括两阶段和单级范式。具体而言,我们首先构造一个图形,其中每个动作单元被表示为节点,并且两个动作单元之间作为边缘之间的关系。在这里,我们使用两种类型的关系,一个类型的关系,用于捕获不同动作单位之间的时间连接,另一类是用于表征其语义关系的另一个关系。特别是对于两级方法中的时间连接,我们进一步探索了两种不同的边缘,一个连接重叠动作单元和连接周围但脱节的单元的另一个。在我们构建的图表上,我们将图形卷积网络(GCNS)应用于模拟不同动作单位之间的关系,这能够了解更有信息的表示来增强动作本地化。实验结果表明,我们的GCM始终如一地提高了现有行动定位方法的性能,包括两阶段方法(例如,CBR和R-C3D)和一级方法(例如,D-SSAD),验证我们的一般性和有效性GCM。
translated by 谷歌翻译